奇异值分解

Singular Value Decomposition SVD

\begin{array}{r} A = U Σ V^{T} = u_{1} σ_{1} v_{1}^{T} + \dots + u_{r} σ_{r} v_{r}^{T} \end{array}

The singular value theorem for A is the eigenvalue theorem for $A^{T} A$ and $A A^{T}$ . The Singular Value Decomposition separate any matrix into simple pieces

如果 $A$ 为 rectangle 非方阵，那么 $A^{T} A$ $A A^{T}$ 为对称的正定矩阵
Square Symmetric Positive-Semidefinite

奇异值分解的理论，本质上就是矩阵和矩阵转置乘积的特征值理论
特征值将任意一个矩阵分解为列和行的形式

一个Rectangle Matrix $A_{(m \times n)}$ 实际上为一个从维度 $n$ 到维度 $m$ 的线性变换

\begin{array}{r} A A^{T} u_{i} = σ_{i}^{2} u_{i} \\ A^{T} A v_{i} = σ_{i}^{2} v_{i} \end{array}

$A A^{T} = S_{L}$ 的特征向量 $v_{i}$ 称为 Left singular vectors, 在 $R^{m}$ 空间中
$A^{T} A = S_{R}$ 的特征向量 $v_{i}$ 称为 Right singular vectors, 在 $R^{n}$ 空间中

\begin{array}{r} A v_{i} = σ_{i} u_{i} \end{array}

rotate 左奇异值向量
stretch 奇异值
dimension erase 降维
rotate 右奇异值向量

\begin{array}{r} A V = U Σ \end{array}